1. FSV Mainz 05

Selepas bersara beliau diminta untuk menjadi pengurus 1. FSV Mainz 05. Beliau menjadi pengurus selama tujuh tahun. Pada masa itu, beliau membawa bekas kelabnya ke Bundesliga dan layak ke Piala UEFA 2005–06. Pada penghujung musim 2006-07, Mainz 05 tersingkir tetapi Klopp memilih untuk terus bersama kelab. Walau bagaimanapun, beliau tidak berjaya membawa kelabnya untuk kembali ke Bundesliga semula dan meninggalkan Mainz pada penamat musim 2007-08.

Borussia Dortmund

Pada Mei 2008, Klopp menjadi pengurus baru Borussia Dortmund dan menandatangani kontrka dua tahun berikutan kelabnya yang menduduki tempat ke-13 di bawah pengurusan Thomas Doll. Pada musim pertamanya, Klopp membawa Dortmund menjuarai DFB-Supercup menewaskan juara Jerman, Bayern Munich. Klopp mengambil alih Dortmund dengan baik setelah kelab tersebut menduduki tempat keenam liga sebelum menjadi juara Bundesliga pada musim 2010-11 dan musim berikutnya.

Ketika musim 2011-12, 81 mata yang dikumpul oleh Borussia Dortmund telah masuk ke sejarah Bundesliga apabila kelab itu sempat mengutip 47 mata pada separuh kedua musim. Menang 25 kali di kejuaraan liga telah menyamai rekod Bayern Munich pada musim 1972-73 dan 28 perlawanan tanpa kalah merupakan rekod yang terbaik di Bundesliga. Pada 12 Mei 2012, Klopp membuat sejarah baru di Borussia Dortmund apabila menjuarai dua gelaran trofi selepas menewaskan Bayern Munich 5–2 di saingan DFB-Pokal.

Borussia Dortmund pada musim 2012-13 tidak banyak berubah pada kempen sebelumnya tetapi kali ini, Klopp mengatakan pada pasukannya supaya lebih fokus kepada saingan Liga Juara-Juara untuk mengubah keputusan yang tidak memuaskna pada musim lalu. Dortmund melalui tugas getir bertemu Manchester City, Real Madrid dan Ajax yang digelar 'Kumpulan Maut'. Walau bagaimanapun, Dortmund tidak pernah kalah pada perlawanan kumpulan dan layak ke separuh akhir kejohanan tersebut bertemu Real Madrid sekali lagi. Dortmund mengejutkan banyak pihak apabila menang 6-1 pada agregat dan layak ke perlawanan akhir. Dortmund tewas pada perlawanan akhir, 2-1 kepada Bayern Munich apabila Arjen Robben menjaringkan gol kemenangan pada minit ke-89.

Pada permulaan musim 2013-14, Klopp menyambung kontrak sehingga Jun 2018. Klopp dikenakan saman sebanyak €10,000 pada 17 Mac 2014 selepas mengeluarkan kata-kata kesat dalam perlawanan liga menentang Borussia Mönchengladbach. Kata-kata kesat itu menyebabkan "serangan lisan" terhadap pengadil. Deniz Aytekin, pengadil perlawanan tersebut, menyatakan bahawa Klopp "mempunyai perangai yang tidak sopan lebih daripada sekali". Pengerusi lembaga Borussia Dortmund, Hans-Joachim Watzke menyatakan "Saya menyokong Jurgen Klopp 100 peratus dalam perkara ini" kerana beliau tidak ada sebab untuk disaman dan menafikan bahawa Klopp telah mencelar pengadil rasmi keempat.

Pada April 2015, Klopp mengumumkan bahawa beliau akan meninggalkan Borussia Dortmund pada hujung musim 2014-15 untuk mengambil sabatikal. Perlawanan terakhir beliau untuk pasukan adalah pada perlawanan akhir DFB-Pokal 2015 dimana Borussia Dortmund tewas 3-1 menentang VfL Wolfsburg. Beliau menghabiskan rekod dengan 179 kemenangan, 69 seri dan 70 kekalahan.

Liverpool

Pada 8 Oktober 2015, Klopp bersetuju untuk tiga tahun menjadi pengurus Liverpool, menggantikan Brendan Rodgers yang dipecat pada bulan yang sama.